最近对反向传播的近似(BP)减轻了BP的许多计算效率低下和与生物学的不兼容性,但仍然存在重要的局限性。此外,近似值显着降低了基准的准确性,这表明完全不同的方法可能更富有成果。在这里,基于在软冠军全网络中Hebbian学习的最新理论基础上,我们介绍了多层softhebb,即一种训练深神经网络的算法,没有任何反馈,目标或错误信号。结果,它通过避免重量传输,非本地可塑性,层更新的时间锁定,迭代平衡以及(自我)监督或其他反馈信号来实现效率,这在其他方法中是必不可少的。与最先进的生物学知识学习相比,它提高的效率和生物兼容性不能取得准确性的折衷,而是改善了准确性。 MNIST,CIFAR-10,STL-10和IMAGENET上最多五个隐藏层和添加的线性分类器,分别达到99.4%,80.3%,76.2%和27.3%。总之,SOFTHEBB显示出与BP的截然不同的方法,即对几层的深度学习在大脑中可能是合理的,并提高了生物学上的机器学习的准确性。
translated by 谷歌翻译
短期可塑性(STP)是一种将腐烂记忆存储在大脑皮质突触中的机制。在计算实践中,已经使用了STP,但主要是在尖峰神经元的细分市场中,尽管理论预测它是对某些动态任务的最佳解决方案。在这里,我们提出了一种新型的经常性神经单元,即STP神经元(STPN),它确实实现了惊人的功能。它的关键机制是,突触具有一个状态,通过与偶然性的自我连接在时间上传播。该公式使能够通过时间返回传播来训练可塑性,从而导致一种学习在短期内学习和忘记的形式。 STPN的表现优于所有测试的替代方案,即RNN,LSTMS,其他具有快速重量和可区分可塑性的型号。我们在监督和强化学习(RL)以及协会​​检索,迷宫探索,Atari视频游戏和Mujoco Robotics等任务中证实了这一点。此外,我们计算出,在神经形态或生物电路中,STPN最大程度地减少了模型的能量消耗,因为它会动态降低个体突触。基于这些,生物学STP可能是一种强大的进化吸引子,可最大程度地提高效率和计算能力。现在,STPN将这些神经形态的优势带入了广泛的机器学习实践。代码可从https://github.com/neuromorphiccomputing/stpn获得
translated by 谷歌翻译
HEBBIAN在获奖者全方位(WTA)网络中的可塑性对于神经形态的片上学习非常有吸引力,这是由于其高效,本地,无监督和在线性质。此外,它的生物学合理性可能有助于克服人工算法的重要局限性,例如它们对对抗攻击和长期训练时间的敏感性。但是,Hebbian WTA学习在机器学习(ML)中很少使用,这可能是因为它缺少与深度学习兼容的优化理论(DL)。在这里,我们严格地表明,由标准DL元素构建的WTA网络与我们得出的Hebbian样可塑性结合在一起,维持数据的贝叶斯生成模型。重要的是,在没有任何监督的情况下,我们的算法,SOFTHEBB,可以最大程度地减少跨渗透性,即监督DL中的共同损失函数。我们在理论上和实践中展示了这一点。关键是“软” WTA,那里没有绝对的“硬”赢家神经元。令人惊讶的是,在浅网络比较与背面的比较(BP)中,SOFTHEBB表现出超出其HEBBIAN效率的优势。也就是说,它的收敛速度更快,并且对噪声和对抗性攻击更加强大。值得注意的是,最大程度地混淆SoftheBB的攻击也使人眼睛混淆,可能将人类感知的鲁棒性与Hebbian WTA Cortects联系在一起。最后,SOFTHEBB可以将合成对象作为真实对象类的插值生成。总而言之,Hebbian效率,理论的基础,跨透明拷贝最小化以及令人惊讶的经验优势,表明SOFTHEBB可能会激发高度神经态和彻底不同,但实用且有利的学习算法和硬件加速器。
translated by 谷歌翻译
最近,已经提出了基于力量的论证框架(Strafs)来模拟与参数相关的一些定量强度的情况。在这种情况下,应计的概念对应于集体攻击参数的一组参数。已经定义了一些语义,这些语义对集体击败目标的应计的存在敏感,而他们的个人要素不能。但是,到目前为止,仅研究了该框架和语义的表面。确实,现有文献集中于稳定语义对Strafs的适应。在本文中,我们推进研究并研究基于可接受性语义的适应。尤其是,我们表明,文献中定义的强大可接受性并不满足理想的财产,即粪便的基本引理。因此,我们提出了一个替代定义,该定义诱发了表现为预期的语义。然后,我们研究了这些新语义的计算问题,特别是我们表明推理的复杂性与几乎所有情况下标准论证框架相应决策问题的复杂性相似。然后,我们提出了用于计算(强和弱)扩展的伪树树限制的翻译。我们对我们的方法进行了实验评估的结论,该评估特别表明,它可以很好地扩展到解决一个扩展和枚举所有内容的问题。
translated by 谷歌翻译